#! /bin/bash
. ./wasm_server.sh

### 模型文件
model_file="/data/llm/Yi-34B-Chat-Q6_K.gguf"
prompt_template="chatml"
res='<|im_end|>'

### 打印信息
printf "模型文件: $model_file\n\n"
printf "prompt: $prompt_template\n\n"
printf "wasm服务端文件: $wasm_server \n\n"
printf "启动服务 ...\n\n"

wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:$model_file $wasm_server \
    -p $prompt_template -r $res \
    --ctx-size 4096 --batch-size 4096 \
    --log-stat
